IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
IQuest-Q1：面向 Agentic CLI 系统的稀疏 MoE 基础模型
🧭 Agentic LLM 训练 · MoE 与多阶段后训练
IQuest Research
320B 稀疏 MoE 模型，通过多阶段训练和模型合并强化 CLI agent 编码能力
📌 工作参考价值（4 点）
- 稀疏 MoE 架构（320B 总参、15B 激活）在保持大模型容量的同时控制推理成本，适合需要实时响应的搜索/推荐 Agent 场景，可参考其专家路由设计，减少线上 latency。
- 多 scaffold + 多版本后训练策略（SFT + 领域 RL + MOPD 跨多种脚手架）能整合互补训练信号，在电商 Agent 中可借鉴：针对商品知识、会话策略、API 调用等不同子任务分别设计 scaffold 和奖励，再合并训练，提升整体鲁棒性。
- 模型合并技术（merge 不同 expert 和 checkpoint 并缓解参数冲突）可直接迁移到多任务推荐模型融合，例如把单品推荐、query 改写、对话策略等专家模型合并为统一模型，降低维护成本。
- 两阶段课程学习先通用后增加 coding 数据，可用于垂直领域 LLM 微调：先在大规模通用语料上稳定训练，再逐步增加电商/广告领域数据，避免灾难性遗忘。